在过去的十年中，由于分散控制应用程序的趋势和网络物理系统应用的出现，网络控制系统在过去十年中引起了广泛的关注。但是，由于无线网络的复杂性质，现实世界中无线网络控制系统的通信带宽，可靠性问题以及对网络动态的认识不足。将机器学习和事件触发的控制结合起来有可能减轻其中一些问题。例如，可以使用机器学习来克服缺乏网络模型的问题，通过学习系统行为或通过不断学习模型动态来适应动态变化的模型。事件触发的控制可以通过仅在必要时或可用资源时传输控制信息来帮助保护通信带宽。本文的目的是对有关机器学习的使用与事件触发的控制的使用进行综述。机器学习技术，例如统计学习，神经网络和基于强化的学习方法，例如深入强化学习，并结合事件触发的控制。我们讨论如何根据机器学习使用的目的将这些学习算法用于不同的应用程序。在对文献的审查和讨论之后，我们重点介绍了与基于机器学习的事件触发的控制并提出潜在解决方案相关的开放研究问题和挑战。
translated by 谷歌翻译
Deep neural networks may easily memorize noisy labels present in real-world data, which degrades their ability to generalize. It is therefore important to track and evaluate the robustness of models against noisy label memorization. We propose a metric, called susceptibility, to gauge such memorization for neural networks. Susceptibility is simple and easy to compute during training. Moreover, it does not require access to ground-truth labels and it only uses unlabeled data. We empirically show the effectiveness of our metric in tracking memorization on various architectures and datasets and provide theoretical insights into the design of the susceptibility metric. Finally, we show through extensive experiments on datasets with synthetic and real-world label noise that one can utilize susceptibility and the overall training accuracy to distinguish models that maintain a low memorization on the training set and generalize well to unseen clean data.
translated by 谷歌翻译
2022-11-15
In this paper we look into the conjecture of Entezari et al. (2021) which states that if the permutation invariance of neural networks is taken into account, then there is likely no loss barrier to the linear interpolation between SGD solutions. First, we observe that neuron alignment methods alone are insufficient to establish low-barrier linear connectivity between SGD solutions due to a phenomenon we call variance collapse: interpolated deep networks suffer a collapse in the variance of their activations, causing poor performance. Next, we propose REPAIR (REnormalizing Permuted Activations for Interpolation Repair) which mitigates variance collapse by rescaling the preactivations of such interpolated networks. We explore the interaction between our method and the choice of normalization layer, network width, and depth, and demonstrate that using REPAIR on top of neuron alignment methods leads to 60%-100% relative barrier reduction across a wide variety of architecture families and tasks. In particular, we report a 74% barrier reduction for ResNet50 on ImageNet and 90% barrier reduction for ResNet18 on CIFAR10.
translated by 谷歌翻译
尽管进行了数十年的研究，但现有的导航系统在野外部署时仍然面临现实世界中的挑战，例如在混乱的家庭环境或人类占领的公共场所中。为了解决这个问题，我们提出了一类新的隐式控制政策，将模仿学习的好处与模型预测控制（MPC）的系统约束的强大处理结合在一起。我们的方法称为Performer-MPC，使用了通过表演者提供的视觉上下文嵌入的学习成本函数（一种低级隐式意见变压器）。我们共同训练成本函数并构建依靠它的控制器，有效地端到端解决相应的双层优化问题。我们表明，由此产生的策略通过利用一些在不同挑战的现实世界情景中利用一些专家演示来提高标准MPC绩效。与标准的MPC政策相比，表演者MPC在混乱的环境中实现了40％的目标，而在人类浏览时，社交指标的目标> 65％。
translated by 谷歌翻译
随着机器人越来越多地进入以人为本的环境，他们不仅必须能够在人类周围安全地浏览，还必须遵守复杂的社会规范。人类通常在围绕他人围绕他人（尤其是在密集占据的空间中）时，通常通过手势和面部表情依靠非语言交流。因此，机器人还需要能够将手势解释为解决社会导航任务的一部分。为此，我们提出了一种新型的社会导航方法，将基于图像的模仿学习与模型预测性控制结合在一起。手势是基于在图像流中运行的神经网络来解释的，而我们使用最先进的模型预测控制算法来求解点对点导航任务。我们将方法部署在真实的机器人上，并展示我们的方法对四个手势游动场景的有效性：左/右，跟随我，然后圈出一个圆圈。我们的实验表明，我们的方法能够成功地解释复杂的人类手势，并将其用作信号，以生成具有社会符合性的导航任务的轨迹。我们基于与机器人相互作用的参与者的原位等级验证了我们的方法。
translated by 谷歌翻译
本文研究了静态稀疏对训练有素网络对扰动，数据腐败和对抗性示例的鲁棒性的影响。我们表明，通过增加网络宽度和深度，同时保持网络容量固定，稀疏网络始终匹配，并且通常优于其最初密集的版本，从而达到了一定的稀疏性。由于网络层之间的连通性松动而导致非常高的稀疏性同时下降。我们的发现表明，文献中观察到的网络压缩引起的快速鲁棒性下降是由于网络容量降低而不是稀疏性。
translated by 谷歌翻译
本文介绍了多代理系统中混合代理的开发的尴尬架构。尴尬的代理商可以实时重新配置他们的计划，以便在不断变化的环境和社会环境下与社会角色要求保持一致。拟议的混合体系结构利用面向行为的设计（BOD）来开发具有反应性计划和完善的歌剧框架的代理，以提供组织，社交和互动定义，以验证和调整代理的行为。 Opera和Bod可以共同实现代理计划的实时调整，以实现不断发展的社会角色，同时为促进各个代理商的行为变化的互动提供了透明度的额外好处。我们介绍了这种体系结构，以激发传统的符号和基于行为的AI社区之间的桥接，在该社区中，这种合并的解决方案可以帮助MAS研究人员追求建立更强大，更强大的智能代理团队。我们使用DOTA2，这是一种成功取决于社交互动的游戏，作为证明我们提出的混合体系结构的示例实现的媒介。
translated by 谷歌翻译
在通过梯度下降训练过度参数化的模型函数时，有时参数不会显着变化，并且保持接近其初始值。该现象称为懒惰训练，并激发了对模型函数围绕初始参数的线性近似的考虑。在懒惰的制度中，这种线性近似模仿了参数化函数的行为，其相关内核称为切线内核，指定了模型的训练性能。众所周知，在宽度较大的（经典）神经网络的情况下进行懒惰训练。在本文中，我们表明，几何局部参数化量子电路的训练进入了大量Qubits的懒惰制度。更准确地说，我们证明了这种几何局部参数化量子电路的变化速率，以及相关量子模型函数的线性近似的精确度；随着Qubits的数量的增加，这两个边界都趋于零。我们通过数值模拟支持我们的分析结果。
translated by 谷歌翻译
现实世界机器学习部署的特点是源（训练）和目标（测试）分布之间的不匹配，可能导致性能下降。在这项工作中，我们研究了仅使用标记的源数据和未标记的目标数据来预测目标域精度的方法。我们提出了平均阈值的置信度（ATC），一种实用的方法，用于了解模型的置信度的阈值，预测精度作为模型置信度超过该阈值的未标记示例的分数。 ATC优于多种模型架构的先前方法，分发班次类型（例如，由于综合损坏，数据集再现或新颖的群体）和数据集（野外，想象成，品种，CNIST）。在我们的实验中，ATC估计目标性能$ 2 $ 2美元 - 比以前的方法更准确地获得4美元。我们还探讨了问题的理论基础，证明通常，识别精度与识别最佳预测因子一样难以识别，因此，任何方法的功效都依赖于（可能是未列区）假设对移位的性质。最后，在一些玩具分布中分析了我们的方法，我们提供了有关其工作时的见解。
translated by 谷歌翻译
由于问题的大规模性质，机器学习算法中的封锁率调整是一种计算挑战性的任务。为了开发高参数调整的有效策略，一个有希望的解决方案是使用群体智能算法。人造蜜蜂殖民地（ABC）优化为此目的作为一个有希望有效的优化算法。然而，在某些情况下，由于初始解决方案较差和昂贵的客观函数，ABC可能遭受缓慢的收敛速度或执行时间。为了解决这些问题，提出了一种新颖的算法，OPTABC，以帮助ABC算法更快地达到近最佳解决方案。 Optabc集成了人造蜂殖民地算法，K均值聚类，贪婪算法和基于反对的学习策略，用于调整不同机器学习模型的超参数。 Optabc采用这些技术，以试图多样化初始群体，因此增强了收敛能力，而不会显着降低准确性。为了验证所提出的方法的性能，我们将结果与先前的最先进的方法进行比较。实验结果表明，与文献中的现有方法相比，Optabc的有效性。
translated by 谷歌翻译